Reward Hacking 面试题
共 4 篇真实面经 · 涵盖 吉利 / 华为 / 腾讯 等 3 家公司
吉利大模型算法一二面:Agentic RL、GRPO 与 Reward Hacking
吉利大模型算法一二级面:一面 70 分钟全是 RL 理论,从 Agentic RL 与传统 RL 的差异、长时序训练为什么崩、GRPO 如何在没有 critic 时估优势,到 PPO 的 clip 与 KL、DAPO 的 token 级损失与 clip-higher、动态采样的加速原理;二面 75 分钟抠论文细节,GAE 与 λ、上下文压缩后的信用分配、Reward Hacking 的检测信号、OPD 在线策略蒸馏与 RL 的边界,以及只有 8 张卡时怎么砍流程。
华为 AI 模型技术岗三面连问:后训练全流程、Reward Hacking 与手写 Attention
华为 AI 模型技术岗的三轮面试实录(原帖以长截图发出):一面围绕实习项目追问 LLM 后训练全流程的选型逻辑、踩坑复盘与 OPD 方案的适用边界,横向比较 SFT、PPO、GRPO,并专门考察 Reward Hacking 的识别与修复,最后手写 Attention 与 Decoder-only 的 Mask 构造;二面转向 Agent 工程实践与框架认知,追问模块设计与技术选型,并手撕一道滑动窗口中档题;三面追问论文细节、实习产出与个人短板。
华为 AI 模型技术岗一二三面:后训练全流程、Agent 框架与科研追问
华为 AI 模型技术岗三面记录:一面围绕 LLM 后训练全流程选型、训练踩坑、OPD 适配性、SFT/PPO/GRPO 差异与 Reward Hacking,手撕要求手写 Attention 与 Decoder-only Mask;二面转向 Agent 工程与 DeepSeek Harness 框架,手撕是滑动窗口中档题;三面追问论文与实习产出、优势短板与成长规划。
腾讯 大模型算法一面二面:GRPO 的信用分配、Agent RL 为什么训崩与蒸馏的边界
腾讯大模型算法一二面:一面深挖 Agentic RL 的训练崩溃、GRPO 的信用分配与 DAPO 的改动,二面追问 GAE、Reward Hacking 检测与在线策略蒸馏能否替代 RL,最后手写流式图像差异的最小包围矩形。